RecGPT-Mobile-V2 Technical Report
RecGPT-Mobile-V2 技术报告：端侧个性化 Query 预测的质效联合优化
🧭 个性化 Query 预测 · 端侧 LLM 自适应推理 ★ 深度解读
Alibaba
面向端侧个性化 Query 预测，提出质量门控自适应推理与压缩部署的端到端框架。
📌 工作参考价值（4 点）
- 行为轨迹压缩可先做确定性工程再上模型：按“搜索/购买>加购/收藏>点击/内容种子>曝光/页面噪声”分层，去爆、去重、语义富化、分段序列化，将 ~300 原始事件压到 100-300 token 的 LLM 可读上下文；电商推荐/搜索场景下，这是低成本、可审计的输入治理方式。
- 训练顺序建议 PT→SFT→RL：先用 domain CPT 注入层级 Semantic ID、共现/互补/替代关系和购后转移，再通过 SFT 固定输出契约（单 Query、独立 rationale 区域、禁止解释和候选列表），最后才做 RL；业务迁移时先确保基座懂领域和输出格式合法。
- RL 奖励设计不要用全局长度惩罚，而是质量门控：分组 rollout 中仅对质量合格且长度可比的轨迹计算输入分位数预算，采用 one-sided 超额成本 + 乘法折扣 Q*exp(-λC)，并保留 rank protection；这能避免模型刷短 query 或牺牲 grounding。
- 端侧部署可分离 teacher 显式 CoT 与 student 隐式 latent 推理：teacher 保留完整 rationale 用于监督/审计，student 只输出最终 Query；结合 INT8/INT4 量化、结构化剪枝、蒸馏和端云路由，适合移动端低延迟场景。